Cross Entropy Loss(CEL)

$$\text{CEL}=-\sum _i{y}_{i}log({\tilde{y}}_i)$$

: Cross Entropy를 이용해, 그 Loss를 측정하는 방법. 즉, 실제 정답($y_i$)와 예측 값($\widetilde{y_i}$)간의 정보량 차이를 곧 Loss로 활용한다.

• 수정수정 : 왜 이렇게 되는지, log likelihood랑 엮어서

Binary Cross Entropy Loss (BCE)

---

$$\text{BCE}=-(y_i\log \widetilde{y_i}+(1-y_i)\log (1-\widetilde{y_i}))$$

이진 분류에 대해서 사용할 수 있는 CEL. 위의 식과 동일하다.
확률의 합은 항상 1이므로, 에측 확률 $y_i$에 대해 CEL을 세운 식이다.

Sparse Categorical crossentropy

---

One Hot Encoding 과정을 거치지 않고, class의 label 그대로 사용한다.
Vector로 만드는 과정이 생략되므로 이 과정을 통해 메모리를 아낄 수 있다.